เจมส์ โอกิลวี เกิดเมื่อวันที่ 29 กุมภาพันธ์ พ.ศ. 2507 ณ เซอร์รีย์ สหราชอาณาจักร เป็นพระโอรสคนแรกใน เจ้าหญิงอเล็กซานดรา เลดีโอกิลวี และ เซอร์แองกัส โอลกิลวี เป็นพระนัดดาใน เจ้าชายจอร์จ ดยุกแห่งเคนต์ พระภาคิไนยใน เจ้าชายเอ็ดเวิร์ด ดยุกแห่งเคนต์ และเป็นพระราชปนัดดาใน พระเจ้าจอร์จที่ 5 แห่งสหราชอาณาจักร โดยเขาได้รับการบพิศมาโดย ไมเคิล รามซี ผู้เป็นอาร์ชบิชอปแห่งแคนเทอร์เบอรี โดยเขามีพระราชมารดาทูลหัวคือ สมเด็จพระราชินีนาถเอลิซาเบธที่ 2 แห่งสหราชอาณาจักร ตอนที่เขาเกิดเขาอยู่อันดับที่ 13 ในการสืบราชบัลลังก์ และปัจจุบันอยู่อันดับที่ 54 เจมส์ เริ่มต้นศึกษาในพระราขวังกับ เจ้าชายเอ็ดเวิร์ด เอิร์ลแห่งเวสเซกซ์ ผู้เป็นพระญาติ และ เลดีซาราห์ แชตโท ก่อนจะเข้าศึกษาในโรงเรียนเตรียมอุดมแห่งสหราชอาณาจักร ก่อนที่เจมส์และเจ้าชายเอ็ดเวิร์ด จะทรงแยกจากกันจาก มหาวิทยาลัยโกดอนสโตล ซึ่งเจมส์ได้ย้ายไปที่วิทยาลัยอีตัน และมหาวิทยาลัยเซนต์แอนดรูว์ จากนั้นเขาไปเรียนต่อที่ สก็อตแลนด์ คณะ ศิลปะประวัติศาสตร์ โดยหลังจากเรียนจบแล้ว เขาได้ทำงานที่ บริษัทจัดส่งสินค้าในเอดินบะระ